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. Streszczenie 

QQ , Sieci Kohonena (SOM) s^, najcz^sciej wykorzystywanym narz^dziem w celu tzw. uczenia bez nadzoru. 

Dlatego tez doczekaly si^ wielu modyfikacji i adaptacji. Niniejsza praca poswi^cona jest samoorganizu- 
j^cym siq sieciom mieszankowym (SOMN), b^d^cym istotnym rozwini^ciem pierwotnej idei Kohonena. 
Zdolnosc SOMN do efektywnego uczenia si^ dowolnego rozkladu statystycznego ukazana zostala na przy- 
ktadzie fotografii cyfrowych w skah szarosci. Dowolny obraz cyfrowy w skali szarosci moze bye przyblizony 
za pomocq skonczonej mieszanki gaussowskiej, ktorej parametry dobierane sq automatycznie w procesie 
^ ' uczenia SOMN. W niniejszej publikacji przedstawiona zostaia grupa przykladow takiego wykorzystania 

SOMN przy uzyciu zaimplementowanej w tym celu aplikacji. 

^ : 1 Wst^p 



in 



00 

o 



Reprezetacja w skali szarosci obrazu o rozdzielczosci M x N pikseli sprowadza si^ do przypisania kazdemu 
z M ■ N punktow wartosci nat^zenia jego jasnosci. Wielkosc zwyczajowo poddajemy dyskretyzacji do 
wartosci calkowitych z przedzialu od do 255, co umozliwia przechowanie jej w dokladnie jediiym bajcie 
pami^ci komputera. 

Okreslamy funkcj^ jasnosci I : {0, . . . , M — 1} x {0, . . . , — 1} — > {0, . . . , 255}, ktora kazdemu pikselowi 
obrazu {x,y) e {0, . . . , Af — 1} x {0, . . . , — 1} przyporz^dkowuje dyskretn^ wartosc nat^zenia jego jasnosci. 
Niech: 



Wowczas funkcja I' — jest dyskretyzacji funkcji g^stosci pewnego rozkladu wektora losowego w prze- 
strzeni dwuwymiarowej . Mozemy zatem postrzegac obraz w kryteriach rozkladu statystycznego. 

Niech X b^dzie wektorem losowyin w przestrzeni d-wymiarowej Q, C (d ^ 1). Mowimy, ze wektor 
losowy X ma rozklad w postaci skonczonej mieszanki (ang. finite mixture distribution)^ jezeli funkcja 
gQstosci jego rozkladu jest nast^puj^ca; 

p(x) =pi(x)Pi + ...+pk(x)Pk (xer!, i^^l), (1) 

gdzie 

K 

P,^G, i = l,...,K- ^P^ = 1 
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Zmienne Pi, . . . , Pk nazywac b^dziemy wagami, zas funkcjepi(-), . . . ,pk{-) — skladnikami mieszanki. 

Dla mieszaiiek jednorodnych (tzn. takich, ktorych skladniki funkcjami g^stosci tego samego typu) wygodnie 
b^dzie zapisac R6wnanie[T]w postaci 



K 



(2) 



gdzie 9i wektorami parametrow i-tego rozkladu, zas Q — (^i, . . . , 9k) ■ 

W niniejszej pracy rozwazac b^dziemy mieszanki gaussowskie zadane wzorem 



Vj=i. 



Pi{x.\t 
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exp 



(3) 



gdzie 6i = {^11,^12} — {niijSi} to (kolejno) wektor wartosci srednich oraz macierz kowariancji rozkladu 
normalnego. 



2 Klasteryzacja za pomoc^ sieci Kohonena (SOM) 

Niech d ^ 1 oraz {x ; x = {xi, . . . ,Xd) G C M'^} b^dzie probk^, z pewnego rozkladu prawdopodobien- 
stwa (ciqglego lub dyskretnego) , zas {m} = {mi G M'^ ; i = 1,...,K} ustalonym zbiorem tzw. wektorow 
kotwicowych. 

Teselacjq Voronoi'a [1] przestrzeni 57 C M"* nazywamy procedure jej podzialu na K wypuklych pod- 
zbiorow V^i({m}) wyznaczonych przez wektory mi G M*^ nast^puj^co: 

^^=l,...,K F,({m}) = {xGf7; V,^, ||x-m,|| < ||x-mj||}, (4) 

gdzie II • II oznacza norm^ euklidesow^. Uzyskany podzial nazywamy mozaikq Voronoi'a. 

Zauwazmy, jakie znaczenie odgrywa odpowiedni dobor wektorow kotwicowych. Aby wynikowa mozaika 
Voronoi'a byla reprezentatywna dla wyjsciowego rozkladu p(x) i uzyteczna dla potrzeb klasteryzacji, musimy 
zadbac o to, by g^stosc rozmieszczenia wektorow m^ byla proporcjonalna do g^stosci p(x) w danym regionie. 
Innymi slowy — chcemy, aby: 

V,^, P(x G V.iim})) = P(x G F,({m})). 

Sieci Kohonena (SOM, od ang. Self-organizing Maps [31 realizuj^ koncepcj^ tzw. samoorganizacji 
topologicznej. Nacisk kladziony jest bowiem nie tylko na rozmieszczenie wektorow kotwicowych m^ G M.'^ 
traktowanych niezaleznie, ale rowniez ich wzajemne polozenie. 

Niech G b^dzie dowolnym grafem spojnym, ktorego wierzcholkami s^ wszystkie K wektory kotwicowe m^. 
Niech ponadto d{i,j) b^dzie pewn^ grafow^ miar^ odleglosci w G. Okreshny funkcj^ h : M+ U {0} — > [0, 1] 
o wlasnosciach: 

(a) h jest scisle malejqca, 

(b) h{0) = 1, 

(c) linix^oo h{z) ^ 0. 

Dla tak zadanego odwzorowania /i zdefiniujmy /unfeq/'g sqsiedztwa (ang. neighbourhood function) h : {{i,j) ; i,j = 
1, . . . , i j} — > K nast^puj^co: 

V.^, h{^,J)^h^^y (5) 

gdzie CT > jest pewnym parametrem algorytmu. W kazdej iteracji wektor x lez^cy w i-tej komorce Voronoi'a 
porusza wszystkie j-te wektory kotwicowe, dla ktorych d(i,j) < a. 



2 




Rysunek 1: Przykladowa mozaika Voronoi'a dla d = 2. Rysunek zaczerpni^to z [T]. 
2.1 Algorytm SOM 

• Dane: Liczba K ^ N, skonczony zbior wektorow losowych x € 17 C Mf^ zgodny z rozkladem prawdopo- 
dobienstwa p(x), funkcja sqsiedztwa h(i,j) oraz parametry (7,77. 

• Wynik: Zbior wektorow kotwicowych {m} = {rui G M"^ ; i — 1,...,K} tworz^cych struktur^ grafu, 
reprezentatywny dla p(x). 

Wybierz losowo wszystkie wektory nij G M.^, a nastQpnie powtarzaj: 

1. Wylosuj wektor x G 12 zgodnie z rozkladem p(x). 

2. Znajdz komork^ Voronoi'a zawieraj^cq, x, to znaczy wyznacz indeks i taki, ze: 

Vj^i ||x-m,|| < ||x-mj||. 

3. Przesun wszystkie wektory kotwicowe m.j w strong x wedlug nast^pujqcej formuly: 

rcij nij + ri{x — nij)h{i,j). (6) 

3 Samoorganizuj^ce si^ sieci mieszankowe 

Samoorganizujqce si^ sieci mieszankowe (ang. Self- Organizing Mixture Networks, w skrocie SOMN) [B] s^ 
uogolnieniem poj^cia Bayesian Self- Organizing Maps (BSOM) [5]. Cechuje je dwuwartstwowa struktura, 
pozwalaj^ca pol^czyc zalety sieci Kohonena (SOM) z mozliwosci^ uczenia macierzy kowariancji oraz wag dla 
kazdej ze skladowych mieszanki. 

3.1 Architektura sieci 

Na Rysunku przedstawiono schematycznie dwuwarstwow^ struktur^ sieci. Nizsza warstwa funkcjoiiuje na 
zasadach bardzo zblizonych do sieci Kohonena. Wyzsza natomiast powstaje poprzez sumowanie wszystkich 
w^zlow z uwzgl^dnieniem wag Pi, z jakimi w^zly te wystQpuj^ w wynikowej mieszance (por. Rownanie [J) , 
daj^c w wyniku wartosc p(x|0) dla dowolnego x G 12. 
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p(x|e) 
▲ 




Rysunek 2: Schematyczne przedstawienie SOMN zaczerpni^te z [6]. 



W praktycznym zastosowaiiiu SOMN do reprezentacji obrazow cyfrowych, przeksztalcenie funkcji g^stosci 
rozkladu na wartosc jasnosci kazdego kolejnego piksela jest niewystarczaj^ce. Ignoruje ono bowiem informacj^ 
o sredniej jasnosci calego obrazu, traktuj^-c jednakowo obrazy utrzymane w jasnych jak i ciemnych odcieniach, 
odwzorowuj^iC jedynie kontrast pomi^dzy najjasniejszym i najciemniejszym pikselem. Prowadzic to moze do 
bl^dnej reprezentacji wyjsciowego obrazu (por. Rysunek [3]). 

Celem unikni^cia powyzszego bl^du, nalezy dla wejsciowego obrazu o rozdzielczosci M x N wyznaczyc 
sum^ jasnosci wszystkich M ■ N pikseli. Pami^taj^c o wspomnianej wczesniej kwestii rozbieznosci w repre- 
zentacji odcieni, tzn. /(•, •) = oznacza odcien najciemniejszy, zas g^stosc p{-\-) — Q — odcien najjasniejszy 
— obliczymy w istocie sum^ roznic postaci: 



Uczenie SOMN jest procesem iteracyjnym. W chwili inicjalizacji siec sklada si^ z K w^zlow, gdzie K ^ K. 
Jezeli wartosc K jest znana a priori^ przyjinujemy zwykle K = K . W przeciwnyin razie szacujemy jq z gory, 
aby unikn^c bl^du wynikaj^cego ze zbyt niewielkiej liczby skladnikow mieszanki, co w oczywisty sposob 
obnizaloby dokladnosc przyblizenia rozkladu. 

W kazdym z T G N krokow uczenia sieci losujemy probk^ x(i) zgodnie z przyblizanym rozkladem p(x), 
w konsekwencji czego nieznacznie modyfikujemy jej stan. Aktualn^ postac mieszanki oznaczmy jako: 



M-l N-1 



x=0 y=0 



3.2 Uczenie SOMN 



K 




(7) 



i=l 



gdzie e = (^i,...,0~^). 
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Niech t ~ 1,...,T b^dzie numerem biez^cej iteracji. Wektorowi x(t) przyporz^dkowujemy w^zel:, dla 
ktorego wartosc prawdopodobienstwa warunkowego (a posteriori) obliczanego wedlug formuly: 

p(x|e) 

jest najwi^ksza. W^zel taki zwyczajowo nazywamy zwyci^zcq (ang. winner). Na Rysunku [2] przedstawiony 
jest jako najwi^ksze niewypelnione kolo oznaczone liter^ w. Pozostale niewypelnione kola symbolizuj^ w^zly 
znajduj^ce si^ w bezposrednim s^siedztwie zwyci^zcy. 

3.3 Algorytm SOMN 

• Dane: Liczba £ N, skonczony zbior wektorow losowych x G C M'' zgodny z rozkladem prawdopo- 
dobienstwa p(x), odlegiosc grafowa d{i,j), ciq,g nierosn^-cy {at)'^i zbiezny do zera oraz skonczony ci^-g 
niemalej^cy (^t)^i o tej wlasnosci, ze 6t — 0. 

• Wynik: Graf w^zlow sieci (z parametrami Pi,Oi, gdzie 9i — {rhi, Si} dla i = 1, . . . , K) reprezentatywny 
dla p(x). 

Zainicjuj dowoln^ metod^ wszystkie parametry Pi^Qi. a nast^pnie dla i = 1, . . . , T powtarzaj: 

1. Wylosuj wektor x G zgodnie z rozkladem p(x). 

2. Znajdz indeks i e {!,..., w^zla, dla ktorego wartosc: 

- , , , PiPi(x\9i) 
Fix) = ' 
p(x|e) 

jest najwi^ksza. 

3. Dla wszystkich wqzIow j G {!,..., K} takich, ze d{i,j) ^ S{t) przypisz: 

riij riij + a{t)P{j\x.) [x — rhj] , 



^ 



a(<)P(j|x) {[x - m,] [x - m,f - E,} 
^ P,+a(t) [P(j|x)-P, 
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4. Dla wszystkich wqzIow j = 1, . . . , K wykonaj normalizacj^: 



4 Przyklady 

Testy zostaly wykonane przy wykorzystaniu programu (stanowi^cego integraln^ czesc pracy [5]) implementu- 
j^iCego opisany wariant algorytmu SOMN. Program ten dostarcza mozliwosc skonfigurowania nast^pujqcych 
parametrow uczenia sieci: Suwak Learn pozwala wybrac wartosc z przedzialu 0,01 1,00 z dokladnosci^ 
0,01. Wyrazy ciqgu wspolczyiinikow steruj^-cych tempem uczenia dla wektorow srednich riii oraz macierzy 
kowariancji okreslone wzorem: a{t) = Cooling factor{t) ■ Learn. Dla zniwelowania efektu zbyt gwaltow- 
nych wahan wag w^zlow SOMN w procesie uczenia, wprowadzono dodatkowy parametr Weight z przedzialu 
0, 00001 0, 00100 okreslany z dokladnosciq, 0, 00001. Ci^g wspolczynnikow determinuj^cych tempo uczenia 
wag wQzlow wyrazony jest wi^c wzorem: a{t) — a(t) ■ Weight. 

W pierwszej kolejnosci posluzymy si^ fotografiq gmachu w^gierskiego parlamentu w Budapeszcie: 




Rysunek 4: Obraz wejsciowy w skali szarosci (640 x 480 pikseli). 



Zdj^cie przesycone jest detalami architektonicznymi, dlatego jego poprawne odwzorowanie wymaga pre- 
cyzyjnego dobrania parametrow. Rysunek [SJa) pokazuje, ze 100 tysi^cy iteracji to zdecydowanie zbyt malo, 
by oddac szczegoly budowli. Obraz jest mocno rozmyty i nieczytelny. Z kolei Rysunek [SJ^b) przedstawia wy- 
nik dzialania SOMN po pi^ciu milionach iteracji z parametrami: Learn = 0, 15 oraz Weight = 0, 00005, 
ktore w przypadku tego obrazu okazaly si^ bye zbyt wysokie. Zwazywszy, ze uzyskanie wyniku w niniejszym 
przypadku pochlon^lo nieco ponad 7 godzin, widzimy, ze wlasciwe dobranie parametrow staje si^ procesem 
czasochlonnym. 
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Rysunek 5: Siec rozmiaru 100 x 100 w^zlow: (a) po 100 tys. iteracji, (b) po 5 mln. iteracji ze zbyt wysokimi 
parametrami uczenia. 



Tabela [T] przedstawia zestawienie najlepszych uzyskanych wynikow. Rezultat dla sieci 200 x 200 wygl^da 
satysfakcjonuj^co, jediiak nalezy zwrocic uwag^, ze 5 milionow iteracji algorytmu pochloii^lo znacznie ponad 
jedn^ dob^. 
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Liczba iteracji 



Rozmiar sieci 



100 X 100 



200 X 200 



1 000 000 





1 godz. 22 min. 



6 godz. 29 min. 



5 000 000 





7 godz. 16 min. 



31 godz. 21 min. 



Tabela 1: Zestawienie rezultatow i czasow wykonywania algorytmu SOMN dla podanych rozmiarow sieci oraz 
liczby iteracji na przykladzie fotografii gmachu w^gierskiego parlamentu. 



Zupelnie inny charakter cechuje kolejn^ fotografi^ przedstawiaj^c^ parysk^ bazylik^ Sacre-Cceur (Rysunek 
[S]). Zdj^cie zostalo wykonane noc^, zatem odwzorowanie ciemnego nieba skontrastowanego z jasn^ elewacj^ 
kosciola stanowi kompletnie odmienne zadanie dla SOMN w stosmiku do poprzedniego przykladu. 

Trudnosc w odwzorowaniu duzych pol jednakowego odcienia skutkuje wyst^powaniem artefaktow, wi- 
docznych na ponizszym rysunku: 



Artefakty szczegolnie widoczne w przypadku sieci o rozmiarach 100 x 100 w^zlow, mniej zas dla rozmiaru 
200 X 200 (por. Tabela [l]). 
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Rysunek 6: Obraz wejsciowy w skali szarosci (460 x 480 pikseli). 




Rysuiiek 7: Artefakty widoczne iia duzych polach tego samego odcienia. 



Jako ostatni przyklad wezmiemy pod uwag^ fotografi^ pomnika Mikolaja Kopernika w Toruniu (Rysunek 
[8]). Podobnie jak w poprzednich przypadkach, iiajlepsze odwzorowanie detali uzyskujemy po pi^ciu milionach 
iteracji algorytmu dla sieci o rozmiarze 200 x 200 w^zlow. Odwzorowanie detali rysow twarzy, jak rowniez 
lisci drzew na drugim planie jest bliskie oryginalowi. Brak rozleglych pol jednakowego odcienia powoduje, 
ze na uzyskanym obrazie nie odnajdujemy niepozqdanych artefaktow. Zestawienie uzyskanych rezultatow 
przedstawiono w Tabeli |31 



5 Konkluzje 

Niniejsza publikacja oparta jest w znacznej mierze na pracy magisterskiej autora [2] napisanej pod kierunkiem 
prof. Tomasza Schreibera na Uniwersytecie Mikolaja Kopernika w Toruniu. 

Jako dane wejsciowe dla procesu klasteryzacji z uzyciem SOMN wykorzystane zostaly obrazy cyfrowe 
w skali szarosci. Warto zwrocic uwagQ, ze reprezentacja obrazu przy pomocy sieci neuronow jest bardzo 
uzyteczna dla potrzeb analizowania wzorcow (ang. pattern matching), eksploracji danych (ang. data mining) 
czy kompresji. Przedstawione przyklady pokazuj^, ze odpowiednio nauczone SOMN mog^ bye z powodzeniem 



9 




Tabela 2: Zestawienie rezultatow i czasow wykonywania algorytmu SOMN dla podanych rozmiarow sieci oraz 
liczby iteracji na przykladzie fotografii bazyliki Sa(;r6-Cceur. 




Rysunek 8: Obraz wejsciowy w skali szarosci (640 x 480 pikseli). 
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Liczba iteracji 




Rozmiar 


sieci 




100 X 100 


200 X 200 


1 000 000 


















1 godz. mill. 






6 godz. 27 min. 




5 000 000 


















7 godz. 8 min. 






31 godz. 55 min. 





Tabela 3: Zestawienie rezultatow i czasow wykonywania algorytmu SOMN dla podanych rozmiarow sieci oraz 
liczby iteracji na przykladzie fotografii pomnika Mikolaja Kopernika. 

wykorzystane do reprezentacji obrazow cyfrowych w skali szarosci. 
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